OpenAI
a minute ago

#OpenAI
#輝達
#AI晶片
#Jalapeno
#人工智慧
商傳媒|責任編輯/綜合外電報導
摘要

人工智慧公司 OpenAI 宣布其開發的全新 AI 晶片 Jalapeno,在專為 AI 推理設計的測試中,於特定效能指標上超越了輝達的 GB300 處理器,有望顯著降低其 AI 模型服務的營運成本。

人工智慧(AI)巨擘 OpenAI 近日表示,自家開發的全新 AI 晶片 Jalapeno 在內部測試中,於特定表現上超越了晶片龍頭輝達(Nvidia)現有的 GB300 處理器。這款晶片主要鎖定 AI 模型的『推理』(Inference)階段,旨在大幅降低營運成本並提升反應速度。AI 推理階段指的是 AI 模型完成訓練後,處理使用者指令並生成回應的過程。

根據 OpenAI 晶片主管 Richard Ho 週一及週二受訪時揭露的細節,Jalapeno 在「每單位功耗處理的 AI 工作量」以及「回應速度」兩項指標上表現出色。Richard Ho 指出,該晶片在實驗室測試中展現出高吞吐量(high-throughput),意即能以更低成本服務大量客戶;同時具備低延遲(low-latency)特性,能為重視即時反應的應用提供極佳效能。Jalapeno 在低電壓 700 瓦下仍能維持強勁效能,相較於其他晶片能更有效率地利用電力,這有助於降低 OpenAI 資料中心的營運成本,因為電力消耗是主要開銷之一。

OpenAI 計畫最快在今年稍晚開始將 Jalapeno 導入旗下 AI 模型服務。然而,Jalapeno 主要設計用於 AI 推理階段,並非 AI 模型訓練,而訓練正是輝達技術的強項。此外,Jalapeno 的測試對象是輝達的 GB300 晶片,而非輝達最新一代剛開始出貨的 Vera Rubin 晶片。

OpenAI 與 Broadcom Inc. 合作開發 Jalapeno,並已公開晶片成果,旨在激勵 AI 晶片領域的創新發展。目前第二版 Jalapeno 的開發已進展順利,預計在數月內完成最終設計,第三代晶片的初期概念也正在設計中。儘管 OpenAI 發展自家晶片,OpenAI 晶片主管 Richard Ho 仍強調,輝達是個非常好的合作夥伴,OpenAI 在許多方面仍持續需要大量輝達晶片支援。這也顯示,OpenAI 自家晶片的發展,短期內尚無法完全取代現有供應商。

OpenAI 也使用了 DeepSeek 和月之暗面(Moonshot AI)等第三方的開源模型進行測試,Jalapeno 在月之暗面最大的 Kimi 模型上展現出顯著優勢。產業內其他新創公司如 Etched 和 MatX 亦持續投入 AI 晶片研發,顯示 AI 晶片市場競爭日趨激烈。